Prefix Sliding for efficient test-time scaling
前缀滑动：高效测试时扩展
🧭 长程推理 · 前缀滑动窗口 ★ 深度解读
Stanford University · University of California, Santa Barbara · Prime Intellect · University of Washington
保留前缀与最近滑动窗口、丢弃中间推理 token，实现恒定成本的长程推理，无训练 3 倍加速
📌 工作参考价值（4 点）
- 长程 Agent/工具调用（多跳搜索、自动比价、复杂排障）：把 system prompt、工具定义、任务描述固定为 prefix，中间推理只保留最近 2048-4096 的 sliding window；能显著降低 KV cache 与时延，且基本不掉点。
- 用 GRPO/在线 RL 训长 reasoning/Agent 模型时，直接复用 truncated backpropagation：只把最后 4×window tokens 传给 trainer，loss 只算最后 window；可避开 OOM，KL 偏差小，适合异步 RL 长 rollout。
- 工程上避免用 last k / summary 做长上下文压缩：会重复处理 token 或引入额外摘要 step，导致显存锯齿与延迟尖峰；Prefix Sliding 的 custom kernel 用 tile skipping 能保持吞吐稳定，接近 vanilla sliding window。
- 注意适用边界：若 Agent 要读长文档、长 API 返回或长代码补全（类似 LiveCodeBench），窗口建议至少 16K，或把关键证据动态追加到 prefix；短文本任务（query 改写、短推荐理由）加速有限。